Self-Preservation in Language Models
语言模型中的自我保存
🧭 持续学习 · 自生成重放防遗忘
New York University · Google Research · Cornell University
用 Task Bank 与自生成重放实现更广泛的持续学习防遗忘，并证明模型可辅助选择重放目标
📌 工作参考价值（4 点）
- 在模型周期更新（如新增品类、场景）时，不要只保存固定旧任务样本，可让冻结的旧模型根据 Task Bank 自动生成重放数据，覆盖面更广，减少对原始训练数据的依赖。
- 用带权重/相关性的 Task Bank 选择重放目标：新任务知情的选择在 4B 模型上能提升旧能力保留率，但在小模型上不一定有效，业务小模型需谨慎验证。
- 监控“之前回答正确的样本的保留率”，而不仅是平均准确率；推荐/广告模型更新时也建议监控老用户、长尾场景的指标，防止平均指标掩盖遗忘。
- 在固定示例预算下，可以用少量新任务样本换取更多重放样本，以旧能力稳定为优先；对线上稳定性要求高的场景（如广告出价、搜索排序）更适用。